PALATE: Pretrained Autoregressive LATent Embeddings
PALATE：预训练自回归潜在嵌入用于广告排序
🧭 生成式用户表示 · 广告排序 ★ 深度解读
DoorDash
用 GPT 式序列模型学习用户门店互动，以 last-token 隐藏向量作为冻结用户表示接入排序，双场景显著提升收入与转化
📌 工作参考价值（4 点）
- 冻结用户 embedding + daily batch inference 是低成本把序列个性化接入多 surface 的方式：比在每个 ranker 内建 DIN/Transformer 更易维护，DIN 增量仅 +0.03%，证明一个共享表示可覆盖大部分收益。
- 在复购/重购型电商，用探索加权 loss 打破 repeat 主导：对新商家/新交互给 9:1 或 3:1 的权重，能明显提升对新商品的召回和新意图表达；业务上对应拉新/发现场景。
- 负样本设计可替代 exact softmax：固定热门池 + 曝光未转化 + random + in-batch，成本低且 Recall 更好；对高基数 item vocab 的场景可直接迁移。
- 两阶段课程：先 click 预训练再 conversion 微调，并 warm-start，可以保留浏览广度同时锐化转化意图；适合有 click→purchase 漏斗的电商/广告场景。